iT邦幫忙

DAY 17
0

Azure 30天系列 第 17

Day 17. Hive on Emulator

  • 分享至 

  • xImage
  •  
  1. 先依照上次的說明啟動本機hadoop services. (start_local_hdp_services)

  1. 由於Hive沒有類似insert into帶values的指令, 因此需要用匯入的方式, 用簡單的範例, 先切換到C:\hdp\hive-0.13.0.2.1.3.0-1981\bin再執行hive, 接著輸入 create table test(name string);

  1. 在相同的bin資料夾下建立一個簡單的demo.txt, 只有兩行資料

  1. 再開另外一個hadoop command line, 到相同bin資料夾下輸入hadoop fs -copyFromLocal demo.txt /hive/warehouse/test匯入文字檔


5. 回到原先Hive視窗, select * from test就可看到那兩行文字

  1. 接著照著Tutorial實作
    http://azure.microsoft.com/en-us/documentation/articles/hdinsight-get-started-emulator/#scenarios
    執行hadoop command line, 切換目錄到c:\hdp\GettingStarted, 執行以下指令產生範例文檔並匯入至模擬器
    powershell -File importdata.ps1 w3c -ExecutionPolicy unrestricted

  1. 可用以下指令檢視並確認資料有匯入
    hadoop fs -ls -R /w3c

  1. 或是從流覽器檢視/w3c/input資料夾

  1. 這個檔案基本上就是access request log

  1. 為了等一下方便執行, 先複製C:\hdp\GettingStarted\Hive\w3c下的 w3ccreate.hql & w3ctotalhitsbypage.hql

  1. 貼到C:\hdp\hive-0.13.0.2.1.3.0-1981\bin下, 這樣等等就不用打一長串的路徑

  1. 將著在hadoop command line視窗, 先切換到C:\hdp\hive-0.13.0.2.1.3.0-1981\bin, 再輸入以下指令建立Hive Table跟匯入資料
    hive.cmd -f w3ccreate.hql -hiveconf "input=/w3c/input/small/data_w3c_small.txt"

  1. 再執行以下指令即可看到結果, 也會看到一個Job ID. 最後列出模擬資料庫的點擊率
    hive.cmd -f w3ctotalhitsbypage.hql

  1. 使用YARN status也可看到Job ID 0001執行成功


上一篇
Day 16. Azure HDInsight Emulator
下一篇
Day 18. MS SQL & Hive的連結
系列文
Azure 30天30
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言